Thái tể Lê Bá Ly quyền thế rất lớn, ông có thông gia với Thư quận công Nguyễn Thiến giữ chức Thượng thư bộ Lại; con trai trưởng là Lê Khắc Thận trấn thủ Sơn Nam và là phò mã nhà Mạc, con trai thứ là Thuần Lương hầu cai quản đội cấm binh một người cháu là Vạn An hầu cũng là phò mã, giữ chức Kim ngô vệ sự; con rể ông là Phái Văn hầu Nguyễn Quyện (con Nguyễn Thiến) giữ vệ Phù Nam, con nuôi Lê Bá Ly là Tả Ngự hầu giữ vệ Cẩm y; một người thông gia khác với Lê Bá Ly là Đổng Giáng hầu Bùi Trụ giữ chức Tán lý quân vụ.

Trong triều khi đó có hai sủng thần là Phạm Quỳnh, Phạm Dao có ơn với nhà Mạc. Vợ Phạm Quỳnh, mẹ Phạm Dao từng là nhũ mẫu của Khiêm vương Mạc Kính Điển. Cha con họ Phạm ghen ghét nhà Lê Bá Ly. Nhân Lê Khắc Thận con ông tuổi trẻ ham chơi và xây cất nhà cửa lộng lẫy, sắm kiệu son lọng vàng, Phạm Quỳnh và Phạm Dao bèn nói với Mạc Kính Điển rằng Khắc Thận có ý phản nghịch. Kính Điển cho rằng nhà Lê Bá Ly là chỗ dựa nên không tin theo.

Phạm Quỳnh và Phạm Dao bèn đi tâu lên Mạc Tuyên Tông. Ngày 12 tháng 2, cha con họ Phạm mang quân bản bộ vây đánh Lê Bá Ly ở trại Hồng Mai vào nửa đêm; đồng thời mang quân vây bắt nhà thông gia Nguyễn Thiến. Tuy nhiên lúc đó Lê Bá Ly trong trại quân chứ không ở Hồng Mai, còn Nguyễn Thiến họp trong triều chưa về, nên quân Phạm Dao không bắt được ai.

Gần qua đêm, trong trại Hồng Mai có người đầy tớ của Bá Ly là Đồi Mồi chạy đi báo. Bá Ly vội tập hợp người nhà và quân sĩ dưới quyền. Sau đó con rể ông là Nguyễn Quyện cùng cháu Vạn An hầu và con nuôi Tả Ngự hầu mỗi người mang 3000 cấm quân đến cứu Lê Bá Ly. Hai bên giao chiến ác liệt. Phạm Quỳnh và Phạm Dao thua chạy. Lê Bá Ly về đóng ở nhà riêng tại Thịnh Liệt. Sáng hôm sau con trưởng Lê Khắc Thận kéo về hội binh.

Lê Bá Ly và các thủ hạ kéo tới chiếm cửa Chu Tước ở kinh thành. Thành Thăng Long náo loạn. Mạc Tuyên Tông vội bỏ chạy sang sông đến Bồ Đề, rồi sai sứ dụ Bá Ly bãi binh. Lê Bá Ly ra điều kiện bắt giải cha con Phạm Quỳnh, Phạm Dao nộp thì mới bãi binh[1].

Mạc Tuyên Tông bèn triệu các tướng ở Sơn Tây là Anh Duệ hầu, Phù Long hầu và Văn Giáp hầu hợp binh đánh Bá Ly. Bá Ly chia quân chống cự, cố thủ rồi viết thư gọi Nguyễn Khải Khang tới cứu viện. Khải Khang sai thủ hạ là Đông Khang hầu đi cứu viện. Các cánh quân Sơn Tây bại trận phải rút lui. Lê Bá Ly tiến quân đến Cấu Hà và yêu cầu vua Mạc giải cha con họ Phạm tới.

Mạc Tuyên Tông không nghe, chạy về phía đông. Lê Bá Ly giận dữ quyết định bỏ Mạc sang hàng Lê. Các người nhà, thông gia và thủ hạ đều đi theo. Lê Bá Ly sai Bùi Trụ mang thư vào Thanh Hóa gặp Lê Trung Tông xin hàng, lại dâng luôn bản đồ địa hình[1].

Tháng 3 năm 1551, Lê Bá Ly cùng thông gia Nguyễn Thiến, các con trai Lê Khắc Thận, Lê Khắc Đôn, các con rể Nguyễn Quyện và Bùi Bỉnh Uyên (cháu Bùi Trụ) cùng 14.000 quân vào Thanh Hóa chính thức theo nhà Lê trung hưng. Năm đó ông 77 tuổi.

Sau khi Lê Bá Ly theo nhà Lê, một số tướng lĩnh khác cũng bỏ nhà Mạc vào nam như Đặng Huấn, Nguyễn Khải Khang và cháu là Nguyễn Hữu Liêu.